Douglass và Anna có năm người con: Rosetta Douglass, Lewis Henry Douglass, Frederick Douglass, Jr., Charles Remond Douglass, và Annie Douglass (chết khi mới lên mười). Charles và Rosetta giúp thân phụ trong việc xuất bản các tờ nhật báo. Anna Douglass là người hỗ trợ trung thành của chồng trong các hoạt động xã hội, ngay cả khi có những tin đồn nhảm về mối quan hệ của Douglass với Julia Griffiths và Ottilie Assing, hai phụ nữ da trắng đến từ Anh và Đức, hoạt động tích cực trong phong trào chống chế độ nô lệ.[54]

Anna qua đời năm 1882. Hai năm sau Douglass tái hôn, lần này ông kết hôn với Helen Pitts, một phụ nữ da trắng đấu tranh cho nữ quyền đến từ Honeoye, New York. Pitts là con gái của Gideon Pitts, Jr. một người bạn của Douglass trong phong trào hủy bỏ chế độ nô lệ. Tốt nghiệp Đại học Mount Holyoke (nay là Chủng viện Mount Holyoke), trong thời gian sinh sống ở Washington, D.C., Helen Pitts làm việc cho tờ Alpha ủng hộ nữ quyền. Có nhiều dị nghị về cuộc hôn nhân bởi vì Douglass lớn hơn Pitts gần 20 tuổi. Gia đình từ bỏ cô, trong khi các con của Douglass xem cuộc hôn nhân này đồng nghĩa với việc từ bỏ mẹ của họ. Tuy nhiên Elizabeth Cady Stanton, một người hoạt động nữ quyền chúc mừng họ.[55]

Douglass giải thích rằng lần đầu ông kết hôn với người có màu da của mẹ, lần thứ hai với người có màu da của cha.[56]